技術問答
技術文章
iT 徵才
聊天室
2026 鐵人賽
登入/註冊
問答
文章
Tag
邦友
鐵人賽
搜尋
DAY
17
0
Azure 30天
系列 第
17
篇
Day 17. Hive on Emulator
鐵人賽
wtc
2014-10-17 22:15:18
2083 瀏覽
分享至
先依照上次的說明啟動本機hadoop services. (start_local_hdp_services)
由於Hive沒有類似insert into帶values的指令, 因此需要用匯入的方式, 用簡單的範例, 先切換到C:\hdp\hive-0.13.0.2.1.3.0-1981\bin再執行hive, 接著輸入 create table test(name string);
在相同的bin資料夾下建立一個簡單的demo.txt, 只有兩行資料
再開另外一個hadoop command line, 到相同bin資料夾下輸入hadoop fs -copyFromLocal demo.txt /hive/warehouse/test匯入文字檔
5. 回到原先Hive視窗, select * from test就可看到那兩行文字
接著照著Tutorial實作
http://azure.microsoft.com/en-us/documentation/articles/hdinsight-get-started-emulator/#scenarios
執行hadoop command line, 切換目錄到c:\hdp\GettingStarted, 執行以下指令產生範例文檔並匯入至模擬器
powershell -File importdata.ps1 w3c -ExecutionPolicy unrestricted
可用以下指令檢視並確認資料有匯入
hadoop fs -ls -R /w3c
或是從流覽器檢視/w3c/input資料夾
這個檔案基本上就是access request log
為了等一下方便執行, 先複製C:\hdp\GettingStarted\Hive\w3c下的 w3ccreate.hql & w3ctotalhitsbypage.hql
貼到C:\hdp\hive-0.13.0.2.1.3.0-1981\bin下, 這樣等等就不用打一長串的路徑
將著在hadoop command line視窗, 先切換到C:\hdp\hive-0.13.0.2.1.3.0-1981\bin, 再輸入以下指令建立Hive Table跟匯入資料
hive.cmd -f w3ccreate.hql -hiveconf "input=/w3c/input/small/data_w3c_small.txt"
再執行以下指令即可看到結果, 也會看到一個Job ID. 最後列出模擬資料庫的點擊率
hive.cmd -f w3ctotalhitsbypage.hql
使用YARN status也可看到Job ID 0001執行成功
留言
追蹤
檢舉
上一篇
Day 16. Azure HDInsight Emulator
下一篇
Day 18. MS SQL & Hive的連結
系列文
Azure 30天
共
30
篇
目錄
RSS系列文
訂閱系列文
5
人訂閱
26
Day 26. Azure SQL 複製, 匯入與匯出
27
Day 27. Azure SQL 同步機制
28
Day 28. Azure Schedule Job
29
Day 29. Azure 附加元件
30
Day 30. My Azure Girl
完整目錄
熱門推薦
{{ item.subject }}
{{ item.channelVendor }}
|
{{ item.webinarstarted }}
|
{{ formatDate(item.duration) }}
直播中
立即報名
尚未有邦友留言
立即登入留言
iThome鐵人賽
參賽組數
902
組
團體組數
37
組
累計文章數
19831
篇
完賽人數
528
人
看影片追技術
看更多
{{ item.subject }}
{{ item.channelVendor }}
|
{{ formatDate(item.duration) }}
直播中
熱門tag
15th鐵人賽
16th鐵人賽
13th鐵人賽
14th鐵人賽
17th鐵人賽
12th鐵人賽
11th鐵人賽
鐵人賽
2019鐵人賽
javascript
2018鐵人賽
python
2017鐵人賽
windows
php
c#
linux
windows server
css
react
熱門問題
誰能證明AI是一場公司的大災難
鼎新ERP /SMART 專案成本分析..
延續誰能證明ai是場災難
Connect-AzureAD 的 powershell 指令
Debian 13 安裝 bind9 後找不到範例檔
MATABASE 多期比較問題請教
當盡力效勞堅持崗位下的自己和我們,會不會有時覺得只剩過勞
熱門回答
誰能證明AI是一場公司的大災難
鼎新ERP /SMART 專案成本分析..
Connect-AzureAD 的 powershell 指令
Debian 13 安裝 bind9 後找不到範例檔
當盡力效勞堅持崗位下的自己和我們,會不會有時覺得只剩過勞
熱門文章
終結輪詢噩夢:量化交易系統如何優雅地接收跨境股市即時串流?
好想跟 Discord 聊天就把專案寫好 : Claude Code Channels
AI網管課 - 怎麼建置10人網路 (概念篇)
筆記:.NET 併發處理 Async/Await 筆記
如何設計自己的遊戲開發同事
IT邦幫忙
×
標記使用者
輸入對方的帳號或暱稱
Loading
找不到結果。
標記
{{ result.label }}
{{ result.account }}